HiER 2015. Proceedings des 9. Hildesheimer Evaluierungs- und Retrievalworkshop

Die Digitalisierung formt unsere Informationsumwelten. Disruptive Technologien dringen verstärkt und immer schneller in unseren Alltag ein und verändern unser Informations- und Kommunikationsverhalten. Informationsmärkte wandeln sich. Der 9. Hildesheimer Evaluierungs- und Retrievalworkshop HIER 2015 thematisiert die Gestaltung und Evaluierung von Informationssystemen vor dem Hintergrund der sich beschleunigenden Digitalisierung. Im Fokus stehen die folgenden Themen: Digital Humanities, Internetsuche und Online Marketing, Information Seeking und nutzerzentrierte Entwicklung, E-Learning

Usability-Ergebnisse als Wissensressource in Organisationen

Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihre Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in dem diese sie anwenden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihrer Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in denen sie angewendet werden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Wissensressource eingesetzt werden können, um die Usability zukünftiger Produkte zu verbessern und die Effizienz des nutzerzentrierten Entwicklungsprozesses zu optimieren. Im Fokus stehen dabei interne Usability-Beauftragte als Anwender dieser Wissensressource: Da diese innerhalb ihrer Organisation für die dort entwickelten Produkte verantwortlich sind, haben sie ein besonders hohes Interesse an der nachhaltigen Nutzung der erhobenen Usability-Ergebnisse. Zu einer organisationsinternen Nutzung von Usability-Ergebnissen existieren bereits Ansätze aus der Forschung zu nutzerzentrierten Entwicklungsprozessen im Bereich der Mensch-Computer-Interaktion, die unterschiedliche Ziele verfolgen. (Hughes, 2006; Douglas, 2007; Vilbergsdottir et al., 2014). Einen frühen Ansatz stellt Andre et al. (2001) mit dem User Action Framework vor, dessen Anwendung jedoch aufwendig sein kann (Hornbæk et al., 2008). Vorschläge für die Klassifizierung von empirischen Usability-Ergebnissen werden bislang vor allem im Kontext der Forschung zu Usability-Methoden eingesetzt (etwa Lavery et al., 1997; Hornbæk et al., 2008). In anderen Bereichen finden sie jedoch keine breite Anwendung, da sie nicht auf die Anwendungsfälle für Usability-Information in Organisationen abgestimmt sind. Als eine zentrale Fragestellung dieser Arbeit wird daher untersucht, für welche Anwendungsfälle eine Sammlung von Usability-Ergebnissen eingesetzt werden kann (Forschungsfrage RQ1). Dafür werden qualitativ ausgerichtete Interviews (n=8) mit internen Usability-Beauftragten sowie Fokusgruppen in zwei Organisationen durchgeführt. Im Rahmen dieser Studien können außerdem die Anforderungen an die Wissensorganisation und an die Informationsinteraktion für die Nutzung von Usability-Ergebnissen als Wissensressource analysiert werden (RQ2). Die Anforderungen werden als ein prototypisches Usability-Informationssystem umgesetzt, welches den Zugang zu einer Sammlung von Usability-Ergebnissen bereitstellt. In einer Studie mit Usability-Beauftragten (n=11) wird dieses System evaluiert, um Rückschlüsse auf die zugrunde liegenden Anforderungen zu ermöglichen. Im Rahmen der Studie werden zudem die Entscheidungsprozesse diskutiert, die angewendet werden, wenn Usability-Ergebnisse auf andere Kontexte übertragen oder verallgemeinert werden sollen (RQ3). Weiterhin werden die Faktoren und Barrieren untersucht, welche die Akzeptanz von Usability-Ergebnissen als Wissensressource in einer Organisation beeinflussen (RQ4). Die Untersuchungen zeigen, dass Usability-Ergebnisse bereits in vielen Organisationen gesammelt und gezielt eingesetzt werden. Die erhobenen Anwendungsfälle (RQ1) umfassen die Übertragung von vorhandenen Ergebnissen auf aktuelle Gestaltungsentscheidungen, Lernprozesse, analytische Fragestellungen und die Verallgemeinerung zu internen Richtlinien. Zu den identifizierten Anforderungen für die Organisation von Usability-Wissen (RQ2) gehört die Kombination von produktübergreifenden und produktbezogenen Metadaten. Die empirischen Evaluierungsergebnisse aus Nutzertests sollten mit den zugrunde liegenden Daten, vor allem aber mit den resultierenden Lösungsvorschlägen verknüpft werden. Bei der Gestaltung der Informationsinteraktion sollten die gezielte Suche, der Umgang mit potenziell unbekannter oder wechselnder Terminologie, aber auch explorative Such- und Lernprozesse unterstützen werden. Wenn Usability-Ergebnisse in einer Organisation mit dem Ziel der Vollständigkeit erhoben werden, können darauf auch Funktionen für die quantitative Analyse und für die Prozessbewertung aufbauen. Für die Bewertung der Übertragbarkeit von Usability-Ergebnissen (RQ3) sind eine Reihe von Entscheidungskriterien und Hinweisen relevant, anhand derer ihre Zuverlässigkeit überprüft und der Erhebungskontext hinsichtlich der Relevanz für eine aktuelle Fragestellung bewertet werden kann. Die Akzeptanz der Anwendung von Usability-Wissen (RQ4) erscheint primär von dem Aufwand abhängig, der für die Erschließung der Ergebnisse erforderlich ist. Die meisten der Teilnehmer bewerten den Aufwand im Verhältnis zu den erwarteten Vorteilen jedoch als angemessen. Mögliche Barrieren für die Wissensteilung können aus der Befürchtung entstehen, die Kontrolle über die Interpretation der Ergebnisse zu verlieren, sowie aus der Wahrnehmung als öffentliche Kritik an den jeweiligen Produktverantwortlichen. Die Ergebnisse dieser Arbeit können dabei helfen, die Unterstützung für die Nutzung von Usability-Ergebnissen als Wissensressource auf die erhobenen Anwendungsfälle auszurichten. Dafür werden Empfehlungen zu möglichen Ausrichtungen eines Usability-Informationssystems in Organisationen gegeben. Die Ergebnisse verweisen außerdem auf das große Potenzial für weitere Forschungsvorhaben in diesem Bereich, sowohl in Hinblick auf eine bessere Unterstützung des Wissensmanagements von Usability-Ergebnissen als auch in Bezug auf die Übertragung der grundlegenden Erkenntnisse dieser Arbeit auf andere Anwendungsdomänen, etwa im Bereich des Managements von Forschungsdaten.User centered software development provides organizations with valuable insights about the users of their software, about their work tasks and the various contexts in which a product is used. This dissertation explores how organizations can profit even more from such results in the long term by using them as an internal knowledge resource for improving the usability of future products and for increasing the efficiency of user centered processes. This topic will be investigated for in-house usability consultants as the primary target group of such a resource. In-house consultants are responsible for the quality of the products developed in their company, and the sustainable management of internal usability results therefore is of particular interest to them. In the research field of human computer interaction and user centered design, several approaches have already been proposed which can be used to systematize usability results in order to pursue a variety of goals (e.g. Hughes 2006; Douglas 2007; Vilbergsdottir et al. 2014). The User Action Framework (Andre et al. 2001) is an important contribution in this area. Its implementation, however, may prove to be difficult for many organizations because applying it was found to be resource intensive (Hornbæk et al., 2008). Other classification systems for usability problems have predominantly been in use in scientific studies on the evaluation of usability methods (e. g. Lavery et al. 1997; Hornbæk & Frøkjær 2008). These approaches have not been widely adopted because of the efforts involved in applying them, and because they do not take into account relevant use cases for usability information in organizations. The identification of use cases for the internal application of usability results therefore constitutes an important research question of this dissertation (research question RQ1). Qualitative interviews with in-house usability consultants (n=8) as well as focus groups in two organizations are conducted in order to investigate this question and to elicit usage requirements of an usability information system (research question RQ2). A prototypical usability information system implements these requirements based on a set of realistic usability results. The system and the proposed requirements are evaluated in an additional study with usability consultants (n=11). In the context of this study, criteria for reusing and generalizing usability results can be examined from the point of view of the participants (research question RQ3). In addition, the factors and barriers influencing the process of sharing and using usability knowledge have been investigated (research question RQ4). Results demonstrate that usability results have already been collected and applied to different use cases in many organizations (RQ1), including their direct application to current design decisions, learning and exploration, analytic questions, and the creation of internal usability standards. The organization of usability results (RQ2) requires a combination of product-specific characteristics with more general attributes as metadata for search and analysis. Results from user studies should be linked to the underlying empirical data and to the resulting design recommendations. Requirements for information interaction include support for the targeted search for usability results, dealing with potentially unknown or changing terminology, as well as possibilities for exploratory search and learning. If results are collected comprehensively in an organization, features for information analysis can be used to support the improvement of development processes. A number of different criteria are used to assess the reliability of usability results and the fit between the context in which a result was elicited and the context to which the result is to be applied. These aspects together provide the basis for deciding about the transferability of results (RQ3). Acceptance of the application of usability results as an information resource (RQ4) primarily depends on the amount of effort which is required for documenting these results. However, most participants expect the benefits to outweigh these efforts. Possible barriers for sharing usability results also include concerns about the loss of control over their interpretation as well as the perception of published results as criticism by those who are responsible for a product. In addition to describing existing practices, the results of this dissertation are intended to offer assistance for the application of usability results as an information resource in different use cases. Accordingly, recommendations about different categories of usability information systems are presented. The findings indicate further possibilities for research with the goal of improving knowledge management for usability results and may also be applied to other domains such as research data management

HiER 2015 - Proceedings des 9. Hildesheimer Evaluierungs- und Retrievalworkshop

Dieser Band fasst die Vorträge des 9. Hildesheimer Evaluierungs- und Retrieval-Workshops (HIER) zusammen, der am 9. und 10. Juli 2015 an der Universität Hildesheim stattfand. Die HIER Workshop-Reihe begann im Jahr 2001 mit dem Ziel, die Forschungsergebnisse der Hildesheimer Informationswissenschaft zu präsentieren und zu diskutieren. Mittlerweile nehmen immer wieder Kooperationspartner von anderen Institutionen teil, was wir sehr begrüßen. HIER schafft auch ein Forum für Systemvorstellungen und praxisorientierte Beiträge

Tagging für das persönliche und kollaborative Informationsmanagement: Implementierung eines Social-Software Systems zur Annotation und Informationssuche in Bibliotheken

This thesis reports on the development of a system that enables users of an online public access library catalogue to save resources in a personal account and to attach their own keywords (called tags) to this ressources. This can facilitate organization and later retrieval as well as communication with other users. The principle is called social tagging and has so far been applied to various types of ressources such as internet-bookmarks, pictures, books as well as scientific publications. The theoretical basics of user-generated keywords will be presented with specific focus on their application in libraries. Based on the analysis of the specific situation of the library of the University of Hildesheim the requirements of the planed system will be specified and the system-design and the prototypical implementation will be presented. The system deployed and the resulting system of tags (folksonomy) will be evaluated to study the usefulness of such a system in the context of a local library and to explore potential future applications

Feld-Spezifische Indexierung von Internet-Dokumenten im Rahmen von WebCLEF 2006

Im Rahmen von WebCLEF 2006 wurde an der Universität Hildesheim mit dem sehr umfangreichen, multilingualen EuroGOV-Korpus experimentiert. Im Vordergrund stand die feldspezifische Indexierung anhand von HTML Strukturelementen. Zusätzlich wurde der Einsatz von Blind Relevance Feedback evaluiert. Wie 2005 wurde ein sprachunabhängiger Indexierungsansatz verwendet. Experimentiert wurde mit dem HTML-Title Element, dem H1 Element und anderen Auszeichnungen, die Text hervorheben. Blind Relevance Feedback wurde für alle Felder außer für das Volltextfeld ?content? implementiert. Die besten Resultate wurden mit einer starken Gewichtung der HTML-Title und H1 Elemente erreicht und stellten eine geringfügige Verbesserung gegenüber den Ergebnissen aus den letztjährigen Postexperimenten dar. Der Einsatz von Blind Relevance Feedback führte nicht zu Verbesserungen. Für WebCLEF 2006 wurden verbesserte Ergebnisse mit den manuell erstellten Anfragen erreicht, während von den Veranstaltern automatisch erstellte Anfragen zu Ergebnissen führten, die wesentlich unter denen der manuell erstellten lagen. Dies war bei allen teilnehmenden Gruppen der Fall.For WebCLEF 2006 we experimented with the large, multilingual EuroGOV-Collection. Fieldspecific Indexing using the HTML structure of the web documents was evaluated. In addition, blind relevance feedback was applied in the search process. As in 2005, the experiments were carried out with a language independent indexing strategy. We experimented with HTML title, H1 element and other elements emphasizing text. Blind relevance feedback was implemented for all index fields except for the full content. The best results with the WebCLEF 2005 topics were achieved with a strong weight on the title-element accomplishing a marginal improvement over the best post submission runs for the mixed-monolingual task at WebCLEF 2005. Blind relevance feedback could not yet improve results. For the WebCLEF 2006 topics, improved results were achieved with the manually generated topics, while those automatically generated led to results far below average for all groups participating

Visualising Topics in Document Collections

This paper discusses two multivariate visualisations which provide insights into topic model distributions across subcollections of a collection of historical textbooks in the context of a digital humanities project. Results of a qualitative user study with experts in historical research indicate that network graphs are more appropriate for revealing general connections among subcollections, while small-multiples of heatmaps of topic correlations are more suitable for a finer grained analysis of the connections between specific topics. We analyse the user behaviour during analysis to identify general activities of the interpretation of topic models as well as activities of interpreting visual elements that are specific to each visualisation. As a result, we observed usability problems and show potential for improved visualisations in digital humanities applications

Multilinguales Web Retrieval im Rahmen von WebCLEF 2006

Dieser Beitrag beschreibt Retrievalexperimente mit einem umfangreichen multilingualen Korpus im Rahmen von WebCLEF 2006 an der Universität Hildesheim. Im Vordergrund stand die Nutzung von HTML Strukturelementen, der Einsatz von Blind Relevance Feedback und die Evaluierung des sprachunabhängigen Indexierungsansatzes

Eignen sich Tree-Tests und Firstclick-Tests für die nutzerzentrierte Evaluierung der Informationsarchitektur?

Neue Methoden für die Überprüfung der Informationsarchitektur (Navigationsdesign und Informationsstruktur) versprechen, schnell und einfach Ergebnisse zu einem frühen Zeitpunkt im Entwicklungsprozess zu liefern. Ein Vergleich mit einem formativen Nutzertest bestätigt dies weitgehend und zeigt Besonderheiten und Grenzen der Methoden auf

Contextual Design Methods for Information Interaction in the Workplace

<p>Contextual Design Methods   for Information Interaction in the Workplace</p><p>(Long Abstract)</p

Automatische Textanalysen in der Geschichtswissenschaft – Auswertung, Interpretation und Relevanz

A single abstract from the DHd-2016 Book of Abstracts.Sofern eine editorische Arbeit an dieser Publikation stattgefunden hat, dann bestand diese aus der Eliminierung von Bindestrichen in Überschriften, die aufgrund fehlerhafter Silbentrennung entstanden sind, der Vereinheitlichung von Namen der Autor*innen in das Schema "Nachname, Vorname" und/oder der Trennung von Überschrift und Unterüberschrift durch die Setzung eines Punktes, sofern notwendig